Inductive learning

대부분의 supervised Learning이 속하며, 대표적인 예시로 train data가 IID(Indepent and Identically Distributed)하다고 가정한다.

Inductive Learning Hypothesis는, 어떠한 parameter $\theta$에 대하여, ${\theta }^{\ast }=\arg \underset{\theta }{\min }E(\theta |D)$를 의미한다.
$E$: Approximation error은, Loss function의 모든 합 혹은 평균을 의미한다.

IID(Indepent and Identically Distributed)

---

• 독립성(Independence): 각 데이터 샘플은 서로 독립적. 즉, 하나의 데이터 포인트가 다른 데이터 포인트에 영향을 미치지 않는다는 뜻이 된다. 학습 데이터 중 하나의 샘플이 다른 샘플의 발생에 영향을 미치지 않는다고 가정한다.
• 동일 분포(Identically Distributed): 모든 데이터는 동일한 분포에서 나온다. 즉, 모든 데이터 포인트가 같은 확률 분포로부터 생성되었음을 의미.

train data는 어떠한 Instance Space $J$(가능한 모든 instance들의 집합)로 부터 생성되었다고 본다.